Scaling Dense Retrieval with LLM-Annotated Training Data: Structured Mining and Progressive Curriculum for E-Commerce Sponsored Search
利用LLM标注训练数据扩展稠密检索：电商赞助搜索的结构化挖掘与渐进课程
🧭 稠密检索 · LLM标注 · 课程学习 ★ 深度解读
Walmart Global Tech
用多通道检索分歧和LLM级联生成240M+结构化样本，配合三阶段课程训练，使稠密检索在Walmart线上NDCG@10提升5.1%
📌 工作参考价值（4 点）
- 多通道分歧挖掘正负样本：利用词典/BM25/现有ANN系统间的低重叠（13%-15%），自动生成easy positives（三通道共识）、hard positives（词汇系统命中但ANN遗漏）和hard negatives（仅单通道高分但无关），无需人工标注。任何有多路召回的业务可直接套用。
- 校准级联减少标注成本：Cross-Encoder(184M) → LoRA 2B LLM → LoRA 8B LLM，每类别做isotonic calibration，高置信度提前接受，含糊样本升级，在保持89.1%人类一致率下节省约50%计算。可迁移到需要大规模打分/标注的场景，尤其适合用成本换取准确率权衡。
- 三阶段渐进课程设计：Stage1 BCE训练“容易正+随机负”打基础，Stage2 MNR引入hard negatives学排序，Stage3 Triplet用token-similar negatives学语义区分。直接混合训练比课程低9.5% NDCG@10；必须严格按BCE→MNR→Triplet顺序，以BCE结尾会毁掉细粒度表征。
- 硬标签远监督代替软蒸馏：LLM级联离线生成hard labels，缓存复用，升级独立，不增加线上延迟。适合需要解耦标注与训练的场景，但需容忍~11%的标签噪声；文中指出当数据量足够大时深度模型可容噪改善。